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Veroffcntlicht 

Mil intemationalem Recherchenbericht 

Vor Abiauf der fur Anderungen der Anspruchc zugelassenen 

Frist, Vcroffentlichung wird wiederholt falls Anderungen 

eintrefferu 



(54) Title: METHOD FOR INCREASING THE SIGNIFICANCE OF TRIDIMENSIONAL MEASURING OF OBJECTS 

(54) Bezeicfanung: VERFAHREN ZUR ERHCHUNG DER SIGNIFIKANZ DER DREXDIMENSIONALEN VERMESSUNG VON 
OBJEKTEN 



(57) Abstract 

A method for increasing the significance of tridimensional measuring of 
objects trough optical recordings, projected samples and triangulabon calculation, 
whereby a coded sample is projected on the object to prevent multiplicities during 
the evaluation of the image data is disclosed. This method is useful specially for 
medical diagnostics, therapy and documentation. 

(57) Zusammenfassung 

Beschrieben wind ein Verfahren zur Erhflhung der Signifikanz der dreidi- 
mensionalen Vermessung von Objeicten durch optische Aufnahmen, aufprojiziene 
Muster und Triangulanonsbercchnung, bet dem ein kodiertes Muster auf das Ob- 
ject zur Vermeidung von Mannigfalugkeiten bei der Auswertung der Bilddaten 
projiziert wird. Dies 1st insbesondere fur die medizinische Diagnostic Therapie 
und Dokumentanon vorteilhaft 
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beispietewe.se CCD-Arrays, ceren Ausgancss.-gnaie unmnteibar naeh ... 
D,g.talisierung gescexherr ocer susgewertet werden kdnnen. 



2:ner 



Bekannt s.nd Verrahren und Vomchtungen zur Oarstellung und ootischen 
dre.dimensionalen Vermessung von raumiichen Obeniachen. Sie basiersn auf 
Triangulationsvenahren. bei denen unter einem bekannten Winkel Punkt- Lnien- 
Oder beliebige ancere Muster auf die betrachtete Oberflache projiziert werden und die 
prajizierten Muster unter einem von dem Projektionswinkel verschiedenen Blickwinkel 
mit einer Optik und einem Bildwandler aufgenommen werden. Oie bekannte 
Geometrie zwischen Projektionsrichtung und Aufnahmerichtung eriaubt die 
dreidimensionale Serecnnung von Stutzpunkten cer Obenlache. 

Projiziert man auf ein Objekt mit raumiichen Erstreckungen beispielsweise ein 
gleichmaSiges Linienmuster. ergibt sich bei einer von der Projektionsrichtung 
verschiedenen Blickrichtung in Abhangigkeit von der Oberfiachengestalt des Objekts 
ein verzerrtes Linienmuster. Bildet man aus dieser Betrachtungsrichtung das Objekt 
durch eine geeignete Optik auf ein CCD-Array ab. digitalisiert man die Bildsignale und 
^tellt sie einer Datenverarbeitungseinheit zur Verfugung, so ist es moglich. an 
verschiedenen Stellen des Bildes die Linien zu identifizieren und bei Kenntnis des 
optischen Strahlengangs und unter Berucksichtigung der geometrischen Ausbildung 
des projizierten Linienmusters uber Triangulation 3D-Koordinaten zu errechnen. 

Bei einer einfachen raumiichen Ausbildung des Objekts konnen aufgrund des ' 
reiativen Abstands der abgebildeten Linien zueinander inkrementelle Koordinaten 
berechnet werden. 

Es ist jedoch bekannt. daQ Hohenstufen in der zu vermessenden Obenlache unter 
bestimmten geometrischen Bedingungen zu reievanten Mefifehlem fuhren konnen. 
Weist das Objekt bezuglich der Projektions- bzw. der Aufnahmerichtung 
Hinterschneidungen auf, so ist nicht ohne weiteres ersichtlich. ob es sich bei 
benachbarten Linien im Abbiid tatsachlich auch um benachbart projizierte Linien 
handelt. Falls einzelne Linien nicht zur Oarstellung gekommen sind, ist zudem nicht 
bekannt. wie viele Linien -Verschluckf' worden sind. AJs Hinterschneidungen sind hier 
Ausbildungen der dreidimensionalen Kontur zu verstehen. die infolge der 
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Betrachtungs- Oder der Projekticnsncntung durch Teiie des Objekts selbsi verdeckt 
und damit fur eine Betracntunc Oder Proiektion nicht zugangiich sine.. 

In der europaiscnen Patentanmeidung 0 250 S93 wird ein System zur Hersiellung von 
5 Keramikinlays beschrieben. bei dem zum Vermessen der Kavitat eines Zahnes eine 

optische 3D-Me£vorrichtung verwendet wird. Oort wird die Bedeutung einer 
"optimalen Sicht" aus zwei Grunden unterstrichen: - erstens um die 
Aufnahmeeinheit hinsichtlich Sicht- und Projektionsrichtung derart auszurichten, dad 
mil einer einzigen Aufnahme die reievanten Oberflachensegmente des Objekts 
10 aufgenommen werden kdnnen und -zweitens-, um nicht aufgrund von 
Hinterschneidungen die 30-Koordinaten fehlerhaft zu berechnen. In diesem 
Zusammenhang wird vorgeschlagen. die Linien aufgund der partiell voriiegenden 
Kontrastinformation bei der Berechnung zu "gewichten". Dies kann jedoch bei einer 
hinsichtlich des Kontrasts unterschiedlichen Ausbildung der Oberfiachenstruktur des 
15 Objekts die Wahrscheiniichkeit einer fehlerhaften Berechnung nur zum Teii 
minimieren. 

Es gehort zum Stand der Technik, die aus Einzetbildem mit unterschiedlicher 
Aufnahmerichtung gewonnenen Teiiinfonnationen uber dreidimensionale Obenlachen 

20 anhand der 3D-Koordinaten Qbereinstimmender Oberfiachensegmente mittels 
sogenannter "Matching-Algorithmen" zu einer Gesamtinformation zu kombinieren. Es 
ist offensichtiich, dall Mannigfaltigkeiten bzw. Unsicherheiten bezuglich der Richtigkeit 
der eingehenden Koordinaten eine sinnvolle numerische Berechnung verunmdglichen 
kdnnen, insbesondere wenn diese automatisch und online wahrend des 

25 Aufnahmevorgangs vorgenommen werden soil. 

Aufgabe der Erfindung ist es daher, das Verfahren zur Erhdhung der Signifikanz der 
dreidimensionalen Vermessung von Objekten der eingangs beschriebenen Art zu 
30 schaffen, mit dem jeder Bereich des projizierten Musters in dem Aufnahmebild fur sich 
betrachtet eindeutig identifeiert werden kann. ohne daG eine Stetigkeit der Oberiiache 
hinsichtlich der Betrachtungs- und Projektionsrichtung in der oben beschriebenen Art 
und Weise vorausgesetzt werden muG. 
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Die Aufgabe w.rci emntiungsgemafl bei dem Verfahren dadurch geldst. cad die zurn 
Zwecke der creicimensionalen Vermessung von Objekten .nit raumiichen 
Erstreckuncen nacn cem Tfiancuianonsverfahren projizierten Musterbereic-.e ceran 
fcodiert sind. dad sich anhand eines caniellen Bildausschnitts die Zuorcnur.g zu dem 
entsprechenden Bereich des prcjizierten Musters erkennen laGt. Aus der Kenntnis 
des Strahlengangs. der geometriscnen Ausbildung des projizierten Musters und der 
Kenntnis der lage des entsprechenden Musterausschnittes in der BiJdaufnahme 
kdnnen mittels einfacher Triangulationsberechnung absolute 3D-Koordinaten 
bestimmt werden. 

Wenn jest Teiie des projizierten Musters in einen abgeschatteten Bereich fallen, so 
kann dennoch partiell das Muster identifiziert und eine exakte 3D-Berechnung 
ausgefuhrt werden. -Zwar ist die dreidimensionale Vermessung der Oberfiache 
bezuglich des abgeschatteten Bereichs nicht moglich. aber fur die anderen Bereiche 
aufgrund der eindeutigen Zuordnung der jeweiiigen Musterpartien korrekt. 

Es ist denkbar. dall die Ausbildung des kodierten Musters gegenuber einem 
einfachen Streiferimuster unter Umstanden die Anzahl der berechenbaren 3D-. 
Informationen reduziert. Bewegt man jedoch mit geringer Geschwindigkeit die 
Aufnahmeeinheit gegenuber dem Objekt und nimmt wahrenddessen eine Folge 
unterschiedlicher Einzelbiider auf. so kdnnen durch geeignete Kombination der den 
Einzelbildem zugeordneten Informationen die 3D-lnformationen verdichtet als auch 
sukzessive vervollstandigt werden: sei es. urn die aufgrund von Hinterschneidungen 
m Einzelbildem fehlenden Informationen zu erganzen; sei es um grdGere Objekte 
darzusteilen. als dies aufgrund der Begrenzungen des Sichtfelds der Aufnahmeeinheit 
in einer Einzelaufnahme moglich ist 



Durch das erfindungsgemaGe Verfahren kdnnen in dem vorstehend beschriebenen 
Sinne Mannigfaltigkeiten bei der Triangulationsberechnung v'ermieden und die 
Signifikanz dieser Berechnungen erhoht werden. 
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"Kodiert" sind im Sinne dieser Erfindung Bereiche des aufprciizierten Muscers. die 
* hinstchtlich ihrer geometrischen Ausbildung und/oder Erstreckung und/oder ihrer 
sonstigen beispielswetse faroigen Ausgestaltung signifikant unterscheidbar sind. 

Wird ais Muster fur die Projektion ein Linienmuster verwendet. erhalt man fur die 3D- 
Berechnung rslevante Informationen. wenn die Linien mit einer wesentiichen 
Komponente quer zu der von der zwischen Slick- und Projektionsrichtung 
aufgespannten Ebene gestreift sind. 

Bei Verwendung eines Unienmusters konnen die Linien erfindungsgemafl vorteilhaft 
z. B. durch Variation der Strichstarke innerhaib der jeweiiigen Unie kodiert werden. 
Hierbei konnen binare. andere diskrete und anaioge Kodierungen zum Einsatz 
kommen. 

Werden beispieisweise -erstens- helle Linien auf das Objekt projiziert iiegen 
-zweitens - die Kontrastdaten der digitalisierten Bildinformationen im Speicher einer 
Datenverarbeitungseinheit fl^chig vor, sind also in Zeiien und Spalten organisiert und 
reprasentieren - drittens - die Spaltendaten beispieisweise die Bildinformationen in 
Richtung der Ebene, die zwischen Aufnahme- und Projektionsrichtung aufgespannt 
wird. kann die automatisierte Auswertung der Daten in einem geeigneten Algorithmus 
zum Zwecke der Berechnung der absoluten 3D-Koordinaten derart erfolgen, dad die 
Kontrastdaten entiang einer Bildspalte auf die Obereinstimmung mit der Musterfolge 
dunkel/hell/dunkei uberprtift werden. Hierfur sind die entsprechenden statistischen 
und numerischen Methoden wie Kreuzkorrelation, Wiener-Filter etc. auch fur die 
Subpixeiauswertung bekannt. 

1st nun die Spaitenstelle der Musterubereinstimmung bekannt, das heifit, hat man 
eine Linie identifiziert. kann uber Kantenverfoigung der Verlauf und die Ausbildung 
der Linie in den benachbarten Spalten untersucht werden. Mit den zum Stand der 
Technik gehdrenden Methoden der Mustererkennung kann damit die Linie selbst 
bezuglich ihrer Ausbildung und damit ihrer Kodierung untersucht werden. 

Im Ergebnis ist -erstens- die Spaitenstelle bekannt. an der die Linie mit ihrem 
Musterschwerpunkt aufgenommen wurde und -zweitens- das entsprechende 
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Un.ensegment cekcd.err: som.t a* sich das Liniensegment eindeutio zur 
-entsprechenden Musterstel.e in dam urwerzemen und zur Prcjektion ge k on menen 
Muster zuordnen. Aus cesen .nfermanonen kann uber Tnangulationsberecnnung die 
3D-Kocrd,nate fur e.nen entscrecnen.aen Punkt der betrachteten Obenlache des 
Objekts bestimmt werden. 

Identifiziert man nun in der beschriebenen Art und Weise sowohl die anderen Linien 
-n derselben Spaite und fuhrc man dieses Verfahren auch in anderen Spalten durch 
erhalt man e.ne Anzahl von Koordinaten. die samtlich einzelnen Punkten auf der 
Obenlache des Objekts entsprechen. Oerartige sogenannte "Punktewolken" mrt 
cenen die Ausbildung von Oberfiachen beschrieben wird. sind in der Technik 
bekannt. Die weitere Oatenverarbeitung von Punktewolken beispielsweise zur Bildung 
von G.ttemetzstrukturen oder von Flachensegmenten gehort ebenfalls zum Stand der 
Technik. 

Insbesondere bei medizinischen Anwendungen ermoglicht die mit vorstehendem 
Verfahren mdgfiche exakte dreidimensionale digitale Beschreibung den Verzicht auf 
raumliche Abformungen (wie z. B. GipsabdrQcken) zur Dokumentation von Befunden ' 
dre.dimensionalen inhaits oder zur computergestutzten Anfertigung von 
therapeutischen Mitteln (wie z. B. Zahnspangen. Zahnersatz/lmplantate). 

Es ist erfindungsgemaa vorteilhaft. entlang der jeweiis betrachteten Linie ( 
abwechselnd Segmente mit einfacher und doppelter Strichstarke anzuordnen. 
Werden beispielsweise zudem jeweiis kurze und lange Liniensegmente verwendet, 
konnen aus der Variation kurzer und langer Liniensegmente mit einfacher oder 
doppelter Strichstarke entlang einer Linie analog zum Morsealphabet die Linien 
unterschiedlich kodiert werden. Wenn jetzt Linien in einen abgeschatteten Bereich 
fallen, so kann dennoch fur jedes einzelne sichtbare Liniensegment. das die 
vollstandige Kodierung enthalt. eine Berechnung absoluter. 3D-Koordinaten 
ausgefuhrt werden, ohne daG hierfur Informationen bezfiglich anderer Unien oder 
Linienabschnitte erforderiich sind. 

Es ist erfindungsgemaa vorteilhaft. in bestimmten Musterausschnrtten in geometrisch 
eindeutiger Anordnung beispielsweise den schwarz/weiG-Anteil zu variieren. urn aus 
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dem jeweiligen Verhaltnis schwarz zu weifi die- Musierparrie von anderen 
unterscheiden zu kdnnen. EffincungsgemaG besonders vorteilhaft konnen die 
Segmente mit unterschiedlichem Scnwarzanteil linear oder konzentrisch angeordnet 
weraen. 

£s ist erfindungsgemaG vorteilhaft. in bestimmten Musterausscnnitten 
Unterbrechnungen der Linien anzuordnen und durch unterschiedliche Ausgestaltung 
dieser Unterbrechungen die Musteneiie zu variieren. 

Alternativ oder zusatziich zu einer schwarz/weiG-Ausbildung des Musters kann 
erfindungsgemad besonders vorteilhaft eine Farbkodierung des Musters 
vorgenommen werden. Bei Verwendung von Linien als. Muster kann erfindungsgemafl 
vorteilhaft beispieisweise jede Linie in einer unterschiedlichen Farbe ausgefuhrt 
werden. Dadurch bteifat die Informationsdrchte je Linie voilstandig erhaiten; dennoch 
istjede Linie eindeutig* zuidentifizieren, sofem der Farbgehalt der aufgenommenen 
Oberflache eine solche Unterschefdung zulaQL ~ 

Unter "Farbe" wird im Sinne dieser Erfindung eine Auswahl von Spektrallinien und * 
Spektralbereichen des sichtbaren, infraroten und/oder ultravioletten Lichts 
verstanden. Im Sinne dieser Definition ist es unerheblich, ob die Farbe durch 
Erzeugung bestimmter Spektren oder Spektralbereiche und gegebenenfalis durch 
additive Farbmischung gebildet oder durch Absorption und gegebenenfalis subtraktive 
Farbmischung aus einem breiteren Spektrum gefiitert wird. 

"Schwarz" wird im Sinne dieser Erfindung synonym fur im wesentlichen 
unbeleuchtet und7oder fur im wesentlichen ohne RGckstrahl- oder 
Durchstrahlkomponente aufgrund von Absorption verwendet. 

"WeifT wird im Sinne dieser Erfindung synonym fur mit breitem Spektralband 
beleuchtet und fur mit RGckstrahl- oder Durchstrahlkomponente mit breitem 
Spektralband verwendet. 
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Samtlicne in cieser Erfindung bescnriebenen Ausgestaitungen des Verfahrens 
-konnen erfindungsgemaG besonders vorteilhaft in vieifaltiger .Art und Weise 
miteinander kombiniert werden. 



Weitere Vorte:fe. Mericmaie und Anwendungsmdclichkeiten der voriiegenden 
Erfindung ergeben sich aus der folgenden Beschreibung bevorzugter 
Ausfiihrungsbeispieie in Verbindung mit der anliegenden Zeichnung. 

Es zeigt die aniiegende Zeichnung in den Rguren Fig. 1 und 2 AusfQhrungsformen 
von kodierten Mustern zur Durchfuhrung von optischen Aufnahmen zum Zwecke der 
dreidimensionalen Vermessung von Objekten durch aufprojizierte Muster und 
Triangulationsberechnungen nach der Erfindung, teilweise schematisiert 

In dem in Rg. 1 gezeigten Linienmuster ist die Strichstarke entiang der jeweiligen 
Linie in regelmaGig wiederholter Folge abwechselnd in einfacher oderdoppeiterBreite 
(Strichstarke) dergestalt ausgefuhrt, . daG in einem definierten Linienabschnrtt das 
LSngenverhaltnis der Stucke mit einfacher und doppeiter Strichstarke von Linie zu 
Unie unterschiedlich ausgebiidet ist In analoger Anwendung der in der 
Signalverarbeitung ublichen Ausdnjcksweise kann man mit anderen Worten in diesem 
Zusammenhang von einem unterschiedlichen schwarz/weiG-Tastverhaltnis innerhaib 
der Periodizitat des Musters sprechen. 

Die in Fig. 1 gezeigte Ausfuhrungsform zeichnet sich zusatziich zu der Kodienjng der 
Musterteile dadurch aus, daG aufgrund der besonderen Ausbildung des Musters eine 
hohe Dichte der berechenbaren Stutzpunkte erreicht werden kann. 

In Rg. 2 wird eine Anordung von konzentrischen Musterelementen gezeigt, wobei die 
einzeinen Elemente dergestalt kodiert sind f daG - erstens - der innere Kreis in 90*- 
Segmenten unterschiedlich geschwarzt ist. - zweitens - der auGere konzentrische 
Ring in 90*-Segmenten unterschiedlich geschwarzt ist und - drittens - die 
.Winkelstellung des auGeren konzentrischen Ringmusters zur ubergeordneten 
Elementanordnung unterschiedlich ausgebiidet ist. Die irt Rg. 2 gezeigte 
Ausfuhrungsform zeichnet sich zusatztich zu der Kodierung der Musterteile dadurch 
aus. daG 
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• a) durch die drei genannten Mflglichkeiten der unterschiedlicherv Ausbildung des 
einzelnen Mustereiements eine hche Signifikanz der Kodierung erreicht werden 
kann und insofem 

b) eine grdQe Anzahl von Elementen sichec unterschieden werden konnen. 
beziehungsweise 

c) redundante Informationen zu Prufzwecken dargestellt werden konnen. 

d) sich die konzentrische Ausbildung der Musterelemente fur die automatische 
Mustererkennung eignet und 

e) sich der innere Kreis in seinen unterschiedlichen Ausbildungen fOr die exakte 
Bestimmung der Stelle im verzerrten Abbild des projizierten Musters mrttels 
Mustererkennungsalgorithmen eignet 
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Patentanspriiche 

1 ■ Verfahren zur Erhohung der S,gnjfi k anz der dreidimens.onalen Vermessunc von 
Objekten durch optaehe Aufnanmen aufproji2jene ' 

Tnangulatonsberechnung. dadurch gekennzeichnet dafi verschiedene 
Bere.che des aufprojizierten Musters eine unterschiedliche Ausbildunq 
aufweisen und damit kodiert sind. 

Verfahren nach Anspruch 1. dadurch gekennzeichnet datt das Muster aus 
mrndestens zwei geometrischen Elementen zusammengesetzt ist. die durch 
unterschiedliche Ausbildung kodiert sind. 

Verfahren nach Anspruch 2. dadurch gekennzeichnet dafi es sich bei den 
unterschiedlich ausgebiideten geometrischen Elementen um Elemente mil im 
wesentlichen linearer Erstreckung handelt 

Verfahren nach Anspruch 2. dadurch gekennzeichnet dafi es sich bei den 
unterschiedlich ausgebiideten geometrischen Elementen um Elemente mit im 
wesentlichen konzentrischer Erstreckung handelt 

Verfahren nach einem der Anspriiche 1 bis 4. dadurch gekennzeichnet dafi 
die unterschiedlich ausgebiideten Bereiche des Musters Unterschiede , 
h.ns.chtlich der Ausbildung der Strichstarke aufweisen und dadurch kodiert sind. ' 

Verfahren nach einem der Anspriiche 2 bis 5. dadurch gekennzeichnet dafi 
die unterschiedlich ausgebiideten geometrischen Elemente des Musters 
Unterschiede durch Unterbrechung aufweisen und dadurch kodiert sind. 

Verfahren nach einem der Anspriiche 1 bis 6. dadurch gekennzeichnet dafi 
die unterschiedlich ausgebiideten Bereiche des Musters Unterschiede 
hinsichtlich der Farbgestaltung und/oder des schwarz/weifi-Gehaits aufweisen 
und dadurch kodiert sind. 



WO 98/1 14U4 



PCI7DE97/01798 



• 11 - 

Verfahren nach einem der Anspruche 1 cder 7, dadurch gekennzerchnet datt 
aus der Bildinrcrmation 3D-Koorainaten von jeweils mindestens einem Punkt 
aus mindestens zwei Eereichen der Oberflache des aufgenommenen Objekts 
berechnet werden, auf die wahrend der Aufnahme unterschiedlich kodierte 
Bereiche des Musters projiziert worden sind. 

Ven/vendung der Verfahren nach einem der Anspruche 1 bis 8 fur die 
medizinische Diagnostik. Tnerapie oder Dokumentation. 



8. 
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30 
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Fig. 1 
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1. Bestimmt© Anspruche haben sich als nichtrecherchierbar erwviesen (siene Feld I). 

2 - Q Mangelnde Einheitlfchkeit der Erfindung(siehe Feld 11). 



3- O ,n der internationalen Anmeldung ist ein Protokoll einer Nucleotid- und/oder Aminosauresequenzoffenbart die Internationale 
Recherche wurde auf der Grundlage des Sequenzprotokoils durchgefuhrt. 

| | das zusammen mit der internationalen Anmeldung eingereicht wurde. 

| | das vom Anmeider getrennt von der internationalen Anmeldung vorgelegt wurde. 

| | dem jedoch keine Erktarung beigefiigt war. daB der Inhait des Protokolls nicht uber den 

Orfenoarungsgehait der internationalen Anmeldung in der eingereichten Fassung hinausgeht. 

| | das von der Internationalen Recherchenbehorde in die ordnungsgemafle Form ubertragen wurde. 

4. Hinsichtlich der Bezeichnung der Erfindung 

[Y] wird der vom Anmeider eingereichte Wortlaut genehmigt. 
| | wurde der Wortlaut von der Behdrde wie foigt festgesetzt 



5. Hinsichtlich der Zusammenfassung 

fxl wird der vom Anmeider eingereichte Wortlaut genehmigt 

| | wurde der Wortlaut nach Regel 38.2b) in der Feld III angegebenen Fassung von dieser Behorde 

festgesetzt. Oer Anmeider kann der IntemationaJen Recherchenbehorde innerhalb eines Monats nach 
dem Datum der Absendung dieses internationaJen Recherchenberichts eine Stellungnahme vortegen. 



6. Folgende Abbildung der Zeichnungen ist mtt der Zusammenfassung zu veroffentiichen: 

Abb. Nr. \ g wie vom Anmeider vorgeschlagen Q keine der Abb. 

| | weil der Anmeider selbst kerne Abbildung vorgeschlagen hat. 
| [ weil diese Abbildung die Erfindung besser kennzeichnet. 
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A. KLASSIFIZ1EHUNG DES ANMELOUNGSGEGENSTANDES 

IPK 6 G01B11/24 
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B. RECHERCHIERTE GEBtETE 



fiecnercnterter Minaestprutstoff (Klassitixationssysiem una Klassiiikationssymcote ) 

IPK 6 G01B 



flecnercnierte aoer nicnt zum Mincestprutstoftgenorenae verortentlicnungen. sowert aieseunter die recnercnienen Gebiete fallen 
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C. ALS WESENTUCH ANGESEHENE UNTERLAGEN 



Kategone* Bezeichnung der Verbflentlichung, soweit erforaerticn unier Angaoe der in Betracni kommenden Terte 



3etr. Ansprucn Nr. 



A 

X,P 



CA 2 163 934 A (HERMARY ALEXANDER THOMAS 
;HERMARY TERRANCE JOHN (CA)) 30. Mai 1996 

& US 5 615 003 A (ALEXANDER T. HERMARY ET 
AL.) 25.Marz 1997 

siehe Spalte 1, Zeile 47 - Zeile 50 
Zeile 7 - Zeile 11 
Zeile 41 - Zeile 54 
Zeile 59 - Spalte 6, Zeile 



1 

2-9 
1 



siehe Spalte 2, 
siehe Spalte 4, 
siehe Spalte 5, 
8 

siehe Anspruch 1 



US 4 185 918 A (DIMATTEO PAUL L 

29.Januar 1980 

siehe Anspruche 1,7,12 



ET AL) 
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Wei t ere Veroffentiicnungen sind der Fortseizungvon feld C zu 
emnehmen 
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Siehe Anhang Patemtamilie 



Besondere Kategone n von angegeoenen Verbfferttiicnungen 

"A" Veroffentlicnung, die den alkjememen Stand der Tecnnik definiert, 
aoer nicni ais oesonders bedeutsa/n anzusenen ist 

"E" alteres Ookument. das ledocn erst am Oder nacn dem intemationalen 
Anmetdedatum veroftentticnt women ist 



V Veroffentlicnung. die geeignet tst. einen Priontatsansprucn zwerf elnaft er- 
scnetnen zu lassen. Oder durcn die das Verbttentticftungsdatum etner 
anderen im Recnercnenoencnt genannten Veroffentlicnung beiegt were en -y, 
soil oder die a us a mem anderen oesonaeren Grund angegeoen ist (wie 
ausgefunrt) 

"O* Veroftentlicnung, die sen auf eine mundJiche Otter© am ng, 

eine Benutrung, eine Ausstellung oder anaere Maflnanmen beziehl 
*P" Veroftentlicnung, die vor dem intemanonaten AnmekJedatum. aoer nacn 
dem oeansorucnten Pnontatsdatum verorferalicntworden ist 



Spatere Verbttentlichung, die nacn dam intemationalen AnmekJedatum 
oder dem Pnontatsdatum veroftentticnt word en ist und mrt der 
Anmeldung nicnt koUidierr. sondem nur zum Verstandnts des der 
Erfindung zugrundetiegonden Prinztps oder der ihr zuorundetiegenden 
Theone angegeoen ist 

Veroffentlicnung von besonderer Sedeutung; die oeansorucnte Erfindung 
kann aJtein a uJ grund dieser Veroffentlicnung nxra ais neu oder auf 
eilindenscner Tatigkeit be rune nd betracntet werden 

Veroffentttcnung von besonderer Sedeutung: die beansprucnte Erfindung 
kann nicnt ais auf erfindenscner Tatigxart berunend betracntet 
werden. wenn die Veroffentlicnung mit etner oder menreren anderen 
Verdffentticnungen die so r Kategone in Verbindung georacnt wird und 
diese Verbindung fur einen Facnmann naneliegend tst 

Verbffenttichung, die Mitgtied derseibenPatentramdie ist 
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Method for increasing the significance of the three-dimensional surveying of objects 

The invention relates to a method for increasing the significance of the three- 
5 dimensional surveying of objects by means of optical pick up, projected patterns and 
triangulation calculations, in which a coded pattern is projected onto the object in 
order to avoid variations in the evaluation of the image data. 

For surveying purposes, the range of methods which work on an optical principle 
10 offers a large number of advantages. A survey can be done rapidly and without 
contact. The prior an includes electronic image converters, for example CCD 
arrays, the output signals of which can be stored or evaluated directly after being 
digitised. 

15 Methods and devices are known for representing and for optical three-dimensional 
surveying of spatial surfaces. They are based on triangulation methods in which 
point, line or any other patterns are projected at a known angle onto the surface 
being viewed and the projected pattern is picked up from a different viewing angle 
from the projection angle with an optical system and an image converter. The 

20 known geometry between the direction of projection and the pick up direction allows 
three-dimensional calculation of interpolation points of the surface. 

If, for example, a regular line pattern is projected onto an object with spatial 
extents, when the viewing direction differs from the direction of projection, a 

25 distorted line pattern is produced dependent upon the surface shape of the object. 
If the object is imaged from this viewing direction on to a CCD array by means of 
a suitable optical system, and if the image signals are digitised and made available 
to a data processing unit, it is possible to identify the lines at different places in the 
image, and when the optical beam path is known, and taking into account the 

30 geometrical configuration of the projected line pattern, to calculate 3D coordinates 
by means of triangulation. 
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With a simple spatial configuration of the object, incremental coordinates can be 
calculated on the basis of the relative distance apart from one another of the lines 
imaged. 

5 It is known, however, that height contours in the surface to be surveyed can, under 
certain geometrical conditions, lead to significant errors in measurement. If the 
object has undercuts with respect to the direction of projection and/or pick up, it is 
not absolutely obvious whether adjacent lines in the image are actually adjacently 
projected lines. If individual lines have not been represented, it is also unknown 
10 how many lines have been "swallowed". Undercuts are understood in this context 
as configurations of the three-dimensional contour which, as a result of the direction 
of viewing or of projection, are covered up by parts of the object itself, and 
therefore are not accessible for viewing or projection. 

15 In European patent application 0 250 993, a system for manufacturing ceramic 
inlays is described in which an optical 3D measuring device is used for surveying 
the cavity in a tooth. Here, the importance of an "optimum view" is underlined for 
two reasons - firstly - in order to be able to align the pick up unit with respect to 
the direction of viewing and of projection such that the relevant surface segments 

20 of the object can be picked up with a single image pick up, and - secondly - in order 
to not make erroneous calculations of the 3D coordinates because of undercuts. In 
this connection, it is proposed to "weight" the lines in the calculation, because of 
the contrast data partially available. When the configuration of the surface structure 
of the object is different with respect to contrast, however, this can only partially 

25 minimise the probability of an erroneous calculation. 

It is known from the prior art to combine into overall data the partial data about 
three-dimensional surfaces obtained from single images picked up from different 
directions, using the 3D coordinates of corresponding surface segments, by means 
30 of so-called "matching algorithms". It is obvious that variations and doubts about 
the correctness of the coordinates involved can make a useful digital calculation 
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impossible, in particular when this is to be done automatically and on-line during 
the pick up procedure. 

The object of the invention is therefore to provide the method for increasing the 
5 significance of the three-dimensional surveying of objects, of the type described in 
the introduction, with which every area of the projected pattern can, when viewed, 
be clearly identified in the image picked up, without continuity of the surface with 
respect to the direction of viewing and projection, in the manner described 
hereinabove, being a requirement. 

10 

The object is attained according to the invention with respect to the method in that 
the pattern areas projected for the purpose of three-dimensional surveying of objects 
with spatial extents according to the triangulation method are coded such that using 
a partial image section, the relationship with the corresponding area of the projected 
15 pattern can be recognised. By knowing the beam path and the geometrical 
configuration of the projected pattern, and by knowing the position of the 
corresponding pattern section in the image pick up, absolute 3D coordinates can be 
determined by means of simple triangulation calculation. 

20 When parts of the projected pattern now fall into a shaded area, the pattern can 
nevertheless be identified partially, and an exact 3D calculation can be carried out. 
Although three-dimensional surveying of the surface with respect to the shaded area 
is not possible, it is correct for the other areas because of the clear association of 
the respective parts of the pattern. 

25 

It is conceivable that under some conditions, the configuration of the coded pattern 
reduces the number of calculable 3D data compared to a simple striped pattern. If, 
however, the pick up unit is moved at low speed with respect to the object, and 
during this takes a sequence of different single images, by suitable combination of 
30 the data associated with to the single images, the 3D data can be condensed and 
successively completed; whether to supplement the data missing due to undercuts 
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in individual images, or whether it is to represent larger objects than is possible 
because of the limitations of the viewing field of the pick up unit in one single 
image. 

5 By means of the method according to the invention, in the sense described 
hereinabove, variations in the trianguiation calculation are avoided and the 
significance of these calculations increased. 

Within the meaning of this invention, "coded" means areas of the projected pattern 
1 0 which are significantly distinguishable with respect to their geometrical configuration 
and/or extent and/or their other, for example coloured, configuration. 

If a line pattern is used as a pattern for projection, data relevant for the 3D 
calculation is obtained when the lines are played with a substantial component 
15 transversely to the plane fixed between the directions of viewing and projection. 

When a line pattern is used, the lines can, according to the invention, 
advantageously be coded, for example by variation of the line thickness within the 
respective lines. With this, binary, other discrete and analog encodings can be used. 

20 

If, for example - firstly - light lines are projected onto the object, - secondly - the 
contrast data of the digitised image data in the memory of a data processing unit are 
planar- that is to say are organised in lines and columns, and - thirdly - the column 
data represent for example the image data, in the direction of the plane fixed 

25 between the directions of pick up and projection, automatic evaluation of the data 
in a suitable algorithm for the purposes of calculating the absolute 3D coordinates 
can take place such that the contrast data is examined along a gap in the image for 
correspondence with the dark/light/dark pattern sequence. Appropriate statistical and 
digital methods such as cross-correlation, Wiener filters and so forth are also known 

30 for sub-pixel evaluation. 
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If the column location of the pattern correspondence is now known, that is to say, 
a line has been identified, the course and the configuration of the line can now be 
investigated for in the adjacent columns by edge tracking. Using the methods 
known from the prior an for pattern recognition, the line itself can thereby be 
5 investigated with respect to its configuration and thereby its code. 

As a result - firstly - the column location is known where the line together with its 
main focus of pattern has been recorded, and - secondly - the corresponding line 
segment is decoded; the line segment can consequently be clearly assigned to the 
1 0 corresponding location in the pattern in the undistorted pattern which has been used 
for projection. From these data, the 3D coordinates for a corresponding point of 
the viewed surface of the object can be determined by means of triangulation 
calculation. 

15 If the other lines are also identified in the same column in the manner described, 
and if this method is also implemented in other columns, a number of coordinates 
which together correspond to individual points on the surface of the object is 
obtained. Such so-called "scatter" with which the configuration is described is 
known in the prior art. The further data processing of scatter, for example in order 

20 to form grid system structures or surface segments is also known from the prior art. 

In particular with medical applications, the exact three-dimensional digital 
description possible with the present method makes it possible to dispense with 
spatial modelling (such as plaster casting, for example) for documentation of 
25 findings or reports with a three-dimensional content or for computer aided 
production of therapeutic devices (such as, for example, tooth braces, replacement 
teeth, implants). 

It is advantageous according to the invention to alternately arrange segments with 
30 single and double line thickness along the respective line being viewed. If, for 
example, in addition short and long line segments are used, the lines can be 
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differently coded similarly to Morse code by the variation in short and long line 
segments with single or double line thickness. When the lines now fall into a 
shaded area, a calculation of absolute 3D coordinates can be implemented 
nevertheless for each individual visible line segment which contains the complete 
5 coding, without data with respect to other lines or line sections being necessary for 
this. 

It is advantageous according to the invention to vary, for example the black/ white 
ratio in specific pattern sections in a clear geometrical arrangement, in order to be 
10 able to differentiate the part of the pattern from others by means of the respective 
ratio of black to white. Particularly advantageously according to the invention, the 
segments with a different black content can be arranged in a linear or concentric 
manner. 

15 It is advantageous according to the invention to arrange gaps in the lines in specific 
pattern sections, and to vary the pattern parts by different configuration of these 
gaps. 

Alternatively or in addition to a black/white configuration of the pattern, particularly 
20 advantageously according to the invention, colour coding of the pattern can be 
undertaken. When lines are used as a pattern, advantageously according to the 
invention, for example, each line can be configured in a different colour. In this 
way the data density per line is completely retained; nevertheless each line can be 
clearly identified, provided that the colour content of the surface being picked up 
25 allows such a differentiation. 

Within the meaning of the invention, "colour" is understood to mean a. selection of 
spectral lines and spectral ranges of visible, infra-red and/or ultra-violet light. In 
the sense of this definition, it is unimportant whether the colour is formed by 
30 producing specific spectra or spectral ranges and optionally by additive colour 
mixing, or filtered by absorption and optionally subtractive colour mixing from a 
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wider spectrum. 

Within the meaning of the invention "black" is used as a synonym for substantially 
unlit and/or components substantially without retroreflection or transillumination, 
5 due to absorption. 

Within the meaning of the invention, "white" is used as a synonym for lit with a 
wide spectral band and for components with retroreflection or transillumination with 
a wide spectral band. 

10 

All the configurations of the method described in this invention can, particularly 
advantageously according to the invention, be combined with one another in many 
different ways. 

15 Further advantages, features and possible applications of the present invention will 
be evident from the following description of preferred embodiments with reference 
to the attached drawings. 

In the attached drawings, Figs. 1 and 2 show embodiments of coded patterns for 
20 implementing optical pick ups for the purpose of three-dimensional surveying of 
objects by means of projected patterns and triangulation calculations according to 
the invention, in part schematically. 

In the line pattern shown in Fig. 1, the line thickness along the respective lines is 
25 alternately configured in a regularly repeating sequence in single or double width 
(line thickness), such that in a defined line section, the proportion of the length of 
the pieces with single and double line thickness is configured differently from line 
to line. In connection with this, using the expression commonly used in signal 
processing in an analogous manner, one may, in other words, speak of a different 
30 black-white pulse duty factor within the periodicity of the pattern. 
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In addition to coding of the parts of the pattern, the embodiment shown in Fig. 1 
is distinguished in that because of the particular configuration of the pattern, a high 
density of calculable interpolation points can be obtained. 

Fig. 2 shows an arrangement of concentric pattern elements wherein the individual 
elements are coded such that - firstly - the inner circle is variously blackened in 90° 
segments, - secondly - the outer concentric ring is variously blackened in 90° 
segments, and - thirdly - the angular position of the outer concentric ring pattern is 
configured differently to the element arrangement above 

it. The embodiment shown in Fig. 2 is distinguished, in addition to the coding of 
the pattern parts, in that 

a) a high degree of significance of coding can be obtained by means of the 
three possibilities described of different configuration of the individual 
pattern elements, insofar as 

b) a large number of elements can be reliably differentiated from one 
another, and/or 

c) redundant data can be represented for checking purposes, 

d) the concentric configuration of the pattern elements is suitable for 
automatic pattern recognition, and 

e) the different configurations of the inner circle are suitable for precise 
determination of the location in the distorted image of the projected 
pattern by means of pattern recognition algorithms. 



Method for increasing the significance of the three-dimensional surveying 
of objects by optical pick up, projected patterns and triangulation 
calculation, characterised in that different areas of the projected pattern 
have a different configuration and are thereby coded. 

Method according to claim 1, characterised in that the pattern is 
composed of at least two geometrical elements which are coded by 
different configurations. 

Method according to claim 2, characterised in that the differently 
configured geometrical elements are elements which extend in a 
substantially linear manner. 

Method according to claim 2, characterised in that the differently 
configured geometrical elements are elements which extend in a 
substantially concentric manner. 

Method according to one of claims 1 to 4, characterised in that the 
differently configured areas of the pattern have differences with respect 
to the line thickness, and are coded thereby. 

Method according to one of claims 2 to 5, characterised in that the 
differently configured geometrical elements of the pattern have 
differences by virtue of gaps, and are coded thereby. 

Method according to one of claims 1 to 6, characterised, in that the 
differently configured areas of the pattern have differences with respect 
to the colouring and/or the black-white content, and are coded thereby. 

Method according to one of claims 1 or 7, characterised in that from the 
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image data, 3D coordinates are calculated of each of at least one point 
from at least two areas of the surface of the object picked up, upon 
which differently coded areas of the pattern have been projected during 
pick up. 

Use of the method according to one of claims 1 to 8 for medical 
diagnostics, therapy or documentation. 



